神经网络理论中最有影响力的结果之一是通用近似定理[1,2,3],其指出,连续函数可以通过单隐藏的层前馈神经网络近似地近似于任意精度。本文的目的是在这种精神上建立一个结果,用于近似通用离散时间线性动力系统 - 包括时变系统 - 通过经常性的神经网络(RNN)。对于线性时间不变(LTI)系统的子类,我们设计了该陈述的定量版本。具体而言,根据[4],通过公制熵测量所考虑的LTI系统的复杂性,我们表明RNN可以最佳地学习 - 或识别系统理论Parlance - 稳定的LTI系统。对于通过差分方程表征其输入输出关系的LTI系统,这意味着RNN可以以度量熵最佳方式从输入输出迹线中学习差分方程。
translated by 谷歌翻译